The More Popular, The Harder to Forget: Adaptive Popularity for LLM Unlearning
越流行越难遗忘：LLM 遗忘的自适应流行度策略
🧭 LLM 遗忘训练 · 流行度自适应
AIRI · Sber AI Lab · Skoltech · ISP RAS Research Center for Trusted Artificial Intelligence
AdaPop 按事实流行度自适应调整遗忘梯度，并用双上升控制器自动平衡遗忘/保留，显著降低遗忘内容泄露
📌 工作参考价值（4 点）
- 把「流行度」引入遗忘/更新训练：电商场景中需要让 LLM 遗忘下架商品、过期活动或用户隐私数据时，不要对所有遗忘样本用统一梯度。可以用商品销量、点击量、评论数、搜索热度等作为流行度代理，让热门实体获得更强的遗忘压力，冷门实体减小遗忘力度，避免过度擦除长尾信息。
- 用外部代理估算知识流行度：如果内部训练数据频率不可得，可以借鉴 AdaPop 使用 Wikidata sitelinks 或 LLM-as-Judge 的思路，在业务中用知识图谱连接数、商品关联关系数、LLM 对事实重要性的打分作为替代，计算 per-example 的 exponent，指导梯度缩放。
- 自动调节 retain penalty 的 dual-ascent 控制器：线上持续学习或定期遗忘时，手动设置遗忘/保留损失权重很脆弱。可参考每 epoch 根据保留集表现自动调整保留惩罚，减少对超参搜索的依赖，在删除目标知识的同时维持推荐/问答质量。
- 用隐藏状态距离做内部监控：除了最终行为指标，可以跟踪遗忘集和保留集的隐藏状态相对未更新模型的距离，作为遗忘充分性与保留完整性的 early signal，便于训练中及早发现遗忘不足或过度遗忘。